培训生成模型捕获数据的丰富语义并解释由此类模型编码的潜在表示,这是无监督学习的非常重要的问题。在这项工作中,我们提供了一种简单的算法,该算法依赖于对预训练的生成自动编码器的潜在代码进行扰动实验,以发现生成模型暗示的因果图。我们利用预训练的属性分类器并执行扰动实验,以检查给定潜在变量对属性子集的影响。鉴于此,我们表明人们可以拟合有效的因果图,该图形在被视为外源变量的潜在代码和被视为观察到的变量的属性之间建模结构方程模型。一个有趣的方面是,单个潜在变量控制属性的多个重叠子集,与试图实现完全独立性的常规方法不同。使用在肽序列数据集上训练的基于RNN的预先训练的生成自动编码器,我们证明了从各种属性和潜在代码之间的算法中学习的因果图可用于预测看不见的序列的特定属性。我们比较了对所有可用属性训练的预测模型,或者仅在Markov毯子中仅培训的模型,并从经验上表明,在无监督和监督的制度中,通常使用依赖Markov blanket属性的预测变量,以确保更好的分布序列。 。
translated by 谷歌翻译